媒体文件|都会_最简单的基于FFMPEG的封装格式转换器（致敬雷霄骅）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了最简单的基于FFMPEG的封装格式转换器（致敬雷霄骅）相关的知识，希望对你有一定的参考价值。

最近项目需要&＃xff0c;开始学习ffmpeg。网上资料很多&＃xff0c;但是大多数资料都是几年前的。ffmpeg 的API 这几年变化蛮大的。按照网上的教程来写代码会遇到各种问题。所以我才想写这么一个专栏。用ffmpeg 比较新的 API 来把一些常用的功能都写一遍。

我大概学习 ffmpeg 有一周多了。感觉学习 ffmpeg 有三个资源可以好好利用。

1. 机械工业出版社出版&＃xff0c; 刘歧、赵文杰编著的《FFmpeg从入门到精通》
2. 雷霄骅 的博客 https://blog.csdn.net/leixiaohua1020
3. ffmpeg 的源代码&＃xff0c;尤其是 doc\\examples 目录下的例子程序。

我的这篇博客其实就是雷神的一篇博客&＃xff08;https://blog.csdn.net/leixiaohua1020/article/details/25422685&＃xff09;的更新版。

雷霄骅&＃xff0c;中国传媒大学通信与信息系统专业博士生&＃xff0c;写了很多音视频编解码方面的科普文章&＃xff0c;被人们尊称为雷神。可惜天妒英才&＃xff0c;2016 年猝死于实验室。他的博客确实写得很好&＃xff0c;值得每一位准备学习音视频编解码的同学好好的读读。他的博客里也给出了很多 ffmpeg 的例子程序&＃xff0c;但是由于ffmpeg API 版本更新&＃xff0c;他的程序代码很多已经无法编译运行了。我准备写一系列的博客&＃xff0c;把他的代码做少许修改&＃xff0c;让这些代码能在最新版的 ffmpeg 上运行。

关于这篇博客中需要用到的 ffmpeg 的基础知识&＃xff0c;请读雷神的博客 https://blog.csdn.net/leixiaohua1020/article/details/25422685。

首先&＃xff0c;在正式程序开始之前。我先给一个更简单的例子程序。这个程序会打开一个媒体文件&＃xff0c;然后输出这个媒体文件的一些基本信息。这里我们的媒体文件来自 https://samples.mplayerhq.hu/avi/AV36_1.avi 。

这里来介绍一下 https://samples.mplayerhq.hu 这个网站。大名鼎鼎的 mplayer 想必大家都听说过&＃xff0c; samples.mplayerhq.hu 站点上的文件就是 mplayer 提供的用来测试 mplayer 解码能力的测试样本。基本上你听说过的、没听说过的格式文件都有。并且每个文件都不太大&＃xff0c;用来测试我们的程序最合适不过。

下面是例子代码&＃xff1a;

extern "C"
#include "libavformat/avformat.h"
#include "libavcodec/avcodec.h"
void msg(const char * str, int ret)
static char err[512];
if(ret <0)

av_strerror(ret, err, 1024);
printf("%s error: %s\\n", str, err);
exit(ret);

else

printf("%s : success.\\n", str);

void test00()
const char * filename &＃61; "D:\\\\AV36_1.avi";
AVFormatContext *pFormatCtx &＃61; avformat_alloc_context();
msg("avformat_open_input", avformat_open_input(&pFormatCtx, filename, nullptr, nullptr));
msg("avformat_find_stream_info", avformat_find_stream_info(pFormatCtx, nullptr));
av_dump_format(pFormatCtx, 0, filename, 0);
avformat_close_input(&pFormatCtx);
avformat_free_context(pFormatCtx);


这个代码的输出结果如下&＃xff1a;

avformat_open_input : success.
avformat_find_stream_info : success.
Input #0, avi, from &＃39;D:\\AV36_1.avi&＃39;:
Duration: 00:00:32.93, start: 0.000000, bitrate: 2372 kb/s
Stream #0:0: Video: indeo5 (IV50 / 0x30355649), yuv410p, 320x240, 2058 kb/s, 15 fps, 15 tbr, 15 tbn, 15 tbc
Metadata:
title : Steyr.avi &＃xfffd;&＃xfffd;&＃xfffd;#1
Stream #0:1: Audio: adpcm_ms ([2][0][0][0] / 0x0002), 22050 Hz, 2 channels, s16, 176 kb/s
Metadata:
title : Sound Forge 4.0 Audio


这里简单解释几点&＃xff1a;

1. msg() 函数是个辅助函数。用这个函数就不用像雷神的代码那样每一个函数调用都要用if 语句去判断返回值了。如果调用失败&＃xff0c;会直接给出错误提示并退出程序。

2. 另外就是这个代码其实不需要调用 avformat_find_stream_info()。因为 av_dump_format()不要求提前调用avformat_find_stream_info() 的。不过我们后面的封装格式转换程序需要这个操作&＃xff0c;所以这里也没去掉这一步。

3. avformat_alloc_context()和avformat_free_context() 配对的&＃xff0c; avformat_open_input() 和avformat_close_input() 是配对的。

4. AVFormatContext 是什么&＃xff1f;简单的说一个媒体文件就要对应一个 AVFormatContext。所谓的Context 其实就是指的这个媒体文件的内容。

另外&＃xff0c;我们可以看到这个视频文件中有两个 Steam。第一个 Stream 是视频流&＃xff0c;编码格式是 indeo5。第二个Stream 是音频流&＃xff0c;编码格式是 adpcm_ms。

好了下面开始我们的工作。我们要把AV36_1.avi 转换为 AV36_1.mkv 文件。并且保持 音视频的编码格式不变。

代码如下&＃xff1a;

void test00()
const char * filename &＃61; "D:\\\\AV36_1.avi";
const char * filename2 &＃61; "D:\\\\AV36_1.mkv";
AVFormatContext *pFormatCtx &＃61; avformat_alloc_context();
msg("avformat_open_input",
avformat_open_input(&pFormatCtx, filename, nullptr, nullptr));
msg("avformat_find_stream_info",
avformat_find_stream_info(pFormatCtx, nullptr));
AVFormatContext *pFormatCtx2 &＃61; avformat_alloc_context();
msg("avformat_alloc_output_context2",
avformat_alloc_output_context2(&pFormatCtx2, nullptr, nullptr, filename2));
for (int i &＃61; 0; i nb_streams; i&＃43;&＃43;)

AVStream *in_stream &＃61; pFormatCtx->streams[i];
AVStream * out_stream &＃61; avformat_new_stream(pFormatCtx2, NULL);
avcodec_parameters_copy(out_stream->codecpar, in_stream->codecpar);
out_stream->codecpar->codec_tag &＃61; 0;

av_dump_format(pFormatCtx2, 0, filename2, 1);
if (!(pFormatCtx2->oformat->flags & AVFMT_NOFILE))

msg("avio_open",
avio_open(&pFormatCtx2->pb, filename2, AVIO_FLAG_WRITE));

msg("avformat_write_header", avformat_write_header(pFormatCtx2, nullptr));
AVPacket pkt;
while (1)

int ret &＃61; av_read_frame(pFormatCtx, &pkt);
if (ret <0) break;
AVStream * in_stream &＃61; pFormatCtx->streams[pkt.stream_index];
AVStream * out_stream &＃61; pFormatCtx2->streams[pkt.stream_index];
/* copy packet */
pkt.pts &＃61; av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.dts &＃61; av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.duration &＃61; av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);
pkt.pos &＃61; -1;
av_interleaved_write_frame(pFormatCtx2, &pkt);
av_packet_unref(&pkt);

msg("av_write_trailer", av_write_trailer(pFormatCtx2));
avformat_close_input(&pFormatCtx2);
avformat_free_context(pFormatCtx2);
avformat_close_input(&pFormatCtx);
avformat_free_context(pFormatCtx);


输出结果如下&＃xff0c;可以看到执行成功了&＃xff1a;

avformat_open_input : success.
avformat_find_stream_info : success.
avformat_alloc_output_context2 : success.
Output #0, matroska, to &＃39;D:\\AV36_1.mkv&＃39;:
Stream #0:0: Video: indeo5, yuv410p, 320x240, q&＃61;2-31, 2058 kb/s
Stream #0:1: Audio: adpcm_ms, 22050 Hz, 2 channels, s16, 176 kb/s
avio_open : success.
avformat_write_header : success.
av_write_trailer : success.


下面主要来讲讲和雷神的代码有区别的几行。在雷神的代码中&＃xff0c;复制 Stream 时用到如下的代码块&＃xff1a;

ret &＃61; avcodec_copy_context(out_stream->codec, in_stream->codec);
if (ret <0)
printf( "Failed to copy context from input to output stream codec context\\n");
goto end;



在新版的 ffmpeg 中&＃xff0c;avcodec_copy_context() 函数已经被废弃。我们不应该直接复制 AVStream 中的 codec。而应该复制 codecpar&＃xff0c;所以需要改用 avcodec_parameters_copy() 函数。

out_stream->codec->codec_tag &＃61; 0;
也需要更新为&＃xff1a;
out_stream->codecpar->codec_tag &＃61; 0;

雷神还有几行代码&＃xff1a;

if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
out_stream->codec->flags |&＃61; CODEC_FLAG_GLOBAL_HEADER;


这几行代码中的CODEC_FLAG_GLOBAL_HEADER 也已经不存在了&＃xff0c;可以改为 AV_CODEC_FLAG_GLOBAL_HEADER。或者向我这样干脆就不要了。

剩下的代码变化不大&＃xff0c;我觉得值得讲一讲的是下面这几行代码&＃xff1a;

pkt.pts &＃61; av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.dts &＃61; av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.duration &＃61; av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);


这三行代码的作用是调整 pts&＃xff0c;dts 和 duration。最开始我一直不理解&＃xff0c;我又没有转码&＃xff0c;这三个时间按说不会有变化&＃xff0c;为啥要调整。后来我输出了 in_stream->time_base 和 out_stream->time_base 的值&＃xff0c;才发现这两个值并不相同。按照我现在的理解&＃xff0c;time_base 是和封装格式相关的。 avi 文件的 time_base 和 mkv 文件的 time_base 不同&＃xff0c;而pts、dts 和 duration 都是以 time_base 作为基本单位的 &＃xff0c;所以需要转换一下。

这里还想再吐槽一下&＃xff0c;av_read_frame() 输出的结果根本不是 frame &＃xff0c;而是 AVPacket。frame 和 packet 有什么关系呢&＃xff1f;简单的说一个 packet 里面可能会有若干个 frame。具体有几个需要用解码器解一下才能确定。一个 packet 里的数据是属于某一个 stream 的&＃xff0c;不会出现一个 packet 里既有视频数据又有音频数据的。具体属于哪个 stream 要通过 pkt.stream_index 来确定。那么如果我们只想要视频的 packet 怎么办呢&＃xff1f;没有什么简便的办法&＃xff0c;只能先获得一个packet 然后判读是不是我们要的那个 stream 的。如果不是就 av_packet_unref() &＃xff0c;然后再读。

有些封装格式除了有视频流、音频流之外&＃xff0c;还会有字幕流等其他的流。下面给个例子代码&＃xff0c;只选择出视频流、音频流&＃xff0c;其他的流都忽略。这个代码基本上是来自 doc\\examples\\remuxing.c , 我只做了少许的改写。

const char * filename &＃61; "D:\\\\AV36_1.avi";
const char * filename2 &＃61; "D:\\\\AV36_1.mkv";
qDebug() <<"hello";
AVFormatContext *pFormatCtx &＃61; avformat_alloc_context();
msg("avformat_open_input",
avformat_open_input(&pFormatCtx, filename, nullptr, nullptr));
msg("avformat_find_stream_info",
avformat_find_stream_info(pFormatCtx, nullptr));
av_dump_format(pFormatCtx, 0, filename, 0);
int stream_index &＃61; 0;
int *stream_mapping &＃61; NULL;
int stream_mapping_size &＃61; 0;
stream_mapping_size &＃61; pFormatCtx->nb_streams;
stream_mapping &＃61; (int *)av_mallocz_array(stream_mapping_size, sizeof(*stream_mapping));
AVFormatContext *pFormatCtx2 &＃61; avformat_alloc_context();
msg("avformat_alloc_output_context2",
avformat_alloc_output_context2(&pFormatCtx2, nullptr, nullptr, filename2));
qDebug() <<"pFormatCtx->nb_streams &＃61; " <nb_streams;
for (int i &＃61; 0; i nb_streams; i&＃43;&＃43;)

AVStream *in_stream &＃61; pFormatCtx->streams[i];
AVCodecParameters *in_codecpar &＃61; in_stream->codecpar;
qDebug() <<"streams[" <codec_type;
if (in_codecpar->codec_type !&＃61; AVMEDIA_TYPE_AUDIO &&// AVMEDIA_TYPE_AUDIO &&
in_codecpar->codec_type !&＃61; AVMEDIA_TYPE_VIDEO &&
in_codecpar->codec_type !&＃61; AVMEDIA_TYPE_SUBTITLE)

stream_mapping[i] &＃61; -1;
continue;

stream_mapping[i] &＃61; stream_index&＃43;&＃43;;
AVStream * out_stream &＃61; avformat_new_stream(pFormatCtx2, NULL);
avcodec_parameters_copy(out_stream->codecpar, in_stream->codecpar);
out_stream->codecpar->codec_tag &＃61; 0;

av_dump_format(pFormatCtx2, 0, filename2, 1);
if (!(pFormatCtx2->oformat->flags & AVFMT_NOFILE))

msg("avio_open",
avio_open(&pFormatCtx2->pb, filename2, AVIO_FLAG_WRITE));

msg("avformat_write_header", avformat_write_header(pFormatCtx2, nullptr));
AVPacket pkt;
while (1)

int ret &＃61; av_read_frame(pFormatCtx, &pkt);
if (ret <0) break;
if (pkt.stream_index >&＃61; stream_mapping_size || stream_mapping[pkt.stream_index] <0)

av_packet_unref(&pkt);
continue;

pkt.stream_index &＃61; stream_mapping[pkt.stream_index];
AVStream * in_stream &＃61; pFormatCtx->streams[pkt.stream_index];
AVStream * out_stream &＃61; pFormatCtx2->streams[pkt.stream_index];
/* copy packet */
pkt.pts &＃61; av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.dts &＃61; av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.duration &＃61; av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);
pkt.pos &＃61; -1;
av_interleaved_write_frame(pFormatCtx2, &pkt);
av_packet_unref(&pkt);

msg("av_write_trailer", av_write_trailer(pFormatCtx2));
avformat_close_input(&pFormatCtx);
/* close output */
if (pFormatCtx2 && !(pFormatCtx2->flags & AVFMT_NOFILE))

avio_closep(&pFormatCtx2->pb);

avformat_free_context(pFormatCtx2);
av_freep(&stream_mapping);


至此&＃xff0c;本篇博客的主要内容就都讲完了。这里多说几句题外话。